In 1758 koopt Julien-Ghislain de Pestre de heerlijkheid van Seneffe van de kinderen van wijlen graaf van der Nath. Hij vertrouwt aan architect Laurent-Benoît Dewez de zorg voor de bouw van een kasteel toe. De werken vangen aan in 1763 en de ruwbouw is af in 1766.
Julien-Ghislain de Pestre is de zoon van een rijke handelaar uit Ath. Hij wordt in 1744 in de adelstand verheven en wordt in 1768 graaf van Seneffe. Hij verrijkt zich aan de internationale handel van de Indische Compagnie en maakt nog meer fortuin door te huwen met Isabelle-Claire Cogels, dochter van een Antwerpse bankier. Hij sterft in 1774. Zijn weduwe en zijn zoon Joseph de Pestre maken verder werk van de binnenaankleding van het kasteel alsook van de aanleg van het park.
In de 19de eeuw volgen enkele eigenaars elkaar op, waaronder baron Alexandre Daminet. Zijn zoon Adolphe Daminet huwt met Joséphine van der Burch, geboren op de burcht van Ecaussinnes-Lalaing. Een tegenslag verplicht zijn afstammelinge, Valérie Daminet, echtgenote van graaf de Pellan, ertoe het kasteel in 1888 te verkopen. Marie-Thérèse, barones Goffinet, koopt het en blijft er tot haar dood wonen. Anno 1909 wordt het kasteel eigendom van bankier en industrieel Franz Phillipson, die het laat restaureren. Hij laat een klein paviljoentje in Lodewijk-XVI-stijl bouwen.
Tijdens de Tweede Wereldoorlog moet de familie Phillipson België ontvluchten en wordt het kasteel door de Duitsers bezet. Zo ontsnapt het aan de bombardementen. Bij de aankomst van de Geallieerden wordt het kasteel door de omwonenden leeggeplunderd. De familie is bij haar terugkeer op het kasteel zo ontsteld dat ze het verkoopt. Zo komt het tussen 1952 en 1963 toe aan een kloostergemeenschap die er het college van het Heilig Hart in wil onderbrengen. Na hun vertrek wordt het kasteel door zijn nieuwe eigenaar, een vastgoedspeculant, verwaarloosd. Hij wil het domein graag verkavelen.
Het kasteel wordt net van de onteigening gered en wordt in 1970 staatseigendom. De met ruïne bedreigde gebouwen moeten grondig worden gerestaureerd. De werken worden toevertrouwd aan de architecten Degand en Baltus en aan tuinarchitect René Pechère.
Op 29 augustus 1994 worden de restauratiewerkzaamheden aan het kasteel van Seneffe voltooid. Het Museum voor de Zilverkunst neemt er zijn intrek. Sindsdien wordt alles in het werk gesteld om de bezoeker onder te dompelen in de sfeer van de Eeuw van de Verlichting. Het Domein is thans eigendom van Federatie Wallonië Brussel.